AI Papers Daily

#Structured Pruning

4 篇

ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation

ShortOPD：通过短到长在轨蒸馏恢复剪枝后LLM生成能力

🧭 结构化剪枝后LLM的生成能力恢复训练

ByteDance · Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences

基于短到长的在轨蒸馏，消除冗余后缀以加速剪枝LLM的生成恢复训练

📌 工作参考价值（4 点）

• 剪枝压缩后的大模型在线上生成时出现质量崩塌（如重复后缀），可直接借鉴 ShortOPD 的在轨蒸馏恢复方案，用未剪枝模型做教师，快速回血生成能力。
• 短到长训练调度能大幅度减少低信息量重复令牌的训练开销，适合需要严格控制训练预算的场景（如电商智能客服、推荐理由生成），可加速迭代。
• 重复前缀检测与截断策略可作为通用技巧，集成到长文本生成的在线学习或 RLHF 流程中，避免模型在无效 token 上浪费算力。
• 对于 Agent 系统中的核心大模型，若经历量化或剪枝后指令跟随能力下降，可用此方法微调恢复，保障多轮交互的任务完成率。

Training | 2026-07-13 | HF Daily | score 6/10

Structured PruningOn-Policy DistillationLLM CompressionRepetitive SuffixesShort-to-long Schedule

It Takes a MAESTRO To Prune Bad Experts

基于路由轨迹的MoE结构化剪枝方法MAESTRO

🧭 MoE模型压缩 · 全局重要性评估

Indian Institute of Technology Delhi · NVIDIA

将专家激活轨迹建模为马尔可夫链，利用稳态分布评估全局重要性，实现MoE模型的高效剪枝

📌 工作参考价值（4 点）

• 对于部署MoE大模型的场景（如DeepSeek、Mixtral），可直接采用MAESTRO在保持性能的同时压缩50%参数，显存占用和部署成本大幅下降，适合资源受限的在线推理环境。
• 该方法通过建模专家激活的跨层转移依赖，计算全局重要性，可借鉴到推荐系统的多专家网络或多任务模型中，用于识别并裁剪冗余模块，提升模型效率。
• 剪枝过程保持路由一致性（routing-congruent），减少剪切前后路由分布漂移，这一思想可迁移到推荐模型的召回/排序链路中，在模型压缩时保留原始决策逻辑。
• 评估覆盖安全、偏见、伦理等领域，剪枝后模型跨任务方差更低，说明该方法产出更鲁棒的通才模型，适合需要兼顾多业务目标的平台（如电商搜索推荐同时需保证公平性与安全性）。

LLM | 2026-07-09 | cs.CL | score 7/10

MoEStructured PruningMarkov ChainRoutingModel CompressionLLM

From Layers to Submodules: Rethinking Granularity in Replacement-Based LLM Compression

从层级到子模块：重思替换式LLM压缩的粒度

🧭 后训练压缩 · 子模块级残差替换 ★ 深度解读

University of Trento

提出子模块级非连续替换方法 SUBFIT，利用残差旁路拟合，在困惑度与准确率折衷上显著优于层级替换基线。

📌 工作参考价值（4 点）

• 对 LLM 部署中的推理加速有直接帮助：25% 稀疏度下可实现 1.12×~1.17× 的解码加速和 25% 的 KV 缓存节省，适合电商应用中需要低延迟、高并发的 agent 或推荐服务。
• 子模块级非连续选择策略可推广到其他模型的细粒度压缩，例如在生成式推荐或 agent 的多组件 Transformer 中，可独立对 Attention/FFN 进行按需裁剪，而非粗暴删除整个层。
• 闭式残差旁路拟合（利用特征协方差和低秩近似）仅需数千条校准样本，无需反向传播，这可以作为一种“剪枝后快速恢复”的手段嵌入到现有的 post-training 流水线中，降低压缩成本。
• 共享 FFN 输入基的设计在保持质量的同时大幅减少额外参数（约为原 FFN 参数的 1/10），类似 LoRA 的思路但应用于压缩，可参考其跨层参数共享方式以降低多任务或大模型的部署显存。

LLM | 2026-06-01 | cs.CL | score 8/10

LLM CompressionSubmodule ReplacementResidual BypassPost-trainingStructured Pruning

HARNESS-LM: A Three-Phase Training Recipe for Harnessing SLMs in Sponsored Search Retrieval

HARNESS-LM: 赞助搜索检索下SLM的三阶段训练配方

🧭 赞助搜索检索 · 知识蒸馏与模型压缩 ★ 深度解读

Microsoft AI India

通过教师训练、ℓ2对齐和对比细化，将大检索模型能力迁移到轻量级在线查询编码器，并实现27×延迟降低与线上收益提升。

📌 工作参考价值（4 点）

• 三阶段解耦训练范式：广告检索或推荐召回场景可先训练一个不受延迟约束的强教师（大模型、多模态特征或LLM增强特征），再用ℓ2回归将轻量级查询塔对齐到教师查询空间，最后用业务数据对比微调，获得接近教师精度且满足在线延迟的模型。
• ℓ2对齐简单有效：无需标注数据，利用大量无监督查询日志即可将大模型的几何结构迁移到小模型，避免复杂的对比蒸馏损失或核对齐，在电商搜索、推荐序列等海量无标签语料上极易落地。
• 逐步剪枝再对齐：借鉴Ministral 3的级联压缩思路，逐层/逐FFN维度剪枝后重新对齐，可系统探索延迟-质量帕累托前沿；如从28层剪至4层仅损失1.1%精度，获得6×延迟缩减，适合需要多档位部署（如GPU/CPU）的业务场景。
• 对比细化恢复剪枝损失：冻结教师文档编码器后，用业务正负样本单独微调查询编码器，能有效弥补因压缩引起的精度下降（剪枝4层模型提升2.7 P@100），可作为快速迭代的轻量适配手段。

RecSys | 2026-05-22 | cs.IR | score 10/10

Dense RetrievalKnowledge DistillationStructured PruningSponsored SearchDual EncoderSLM